As the accuracy of machine learning models increases at a fast rate, so does their demand for energy and compute resources. On a low level, the major part of these resources is consumed by data movement between different memory units. Modern hardware architectures contain a form of fast memory (e.g., cache, registers), which is small, and a slow memory (e.g., DRAM), which is larger but expensive to access. We can only process data that is stored in fast memory, which incurs data movement (input/output-operations, or I/Os) between the two units. In this paper, we provide a rigorous theoretical analysis of the I/Os needed in sparse feedforward neural network (FFNN) inference. We establish bounds that determine the optimal number of I/Os up to a factor of 2 and present a method that uses a number of I/Os within that range. Much of the I/O-complexity is determined by a few high-level properties of the FFNN (number of inputs, outputs, neurons, and connections), but if we want to get closer to the exact lower bound, the instance-specific sparsity patterns need to be considered. Departing from the 2-optimal computation strategy, we show how to reduce the number of I/Os further with simulated annealing. Complementing this result, we provide an algorithm that constructively generates networks with maximum I/O-efficiency for inference. We test the algorithms and empirically verify our theoretical and algorithmic contributions. In our experiments on real hardware we observe speedups of up to 45$\times$ relative to the standard way of performing inference.

图形数据库（GDB）启用对非结构化，复杂，丰富且通常庞大的图形数据集的处理和分析。尽管GDB在学术界和行业中都具有很大的意义，但几乎没有努力将它们与图形神经网络（GNNS）的预测能力融为一体。在这项工作中，我们展示了如何无缝将几乎所有GNN模型与GDB的计算功能相结合。为此，我们观察到这些系统大多数是基于或支持的，称为标记的属性图（LPG）的图形数据模型，在该模型中，顶点和边缘可以任意复杂的标签和属性集。然后，我们开发LPG2VEC，这是一种编码器，将任意LPG数据集转换为可以与广泛的GNN类直接使用的表示形式，包括卷积，注意力，消息通话，甚至高阶或频谱模型。在我们的评估中，我们表明，LPG2VEC可以正确保留代表LPG标签和属性的丰富信息，并且与与图形相比，与与图形相比，它提高了预测的准确性，而不管有针对性的学习任务或使用过的GNN模型，多达34％没有LPG标签/属性。通常，LPG2VEC可以将最强大的GNN的预测能力与LPG模型中编码的全部信息范围相结合，为神经图数据库铺平了道路，这是一类系统，其中维护的数据的绝大复杂性将从现代和未来中受益图机学习方法。

成倍增长的模型大小驱动了深度学习的持续成功，但它带来了过度的计算和记忆成本。从算法的角度来看，已经研究了模型的稀疏和量化以减轻问题。从体系结构的角度来看，硬件供应商提供了张量核心以进行加速。但是，由于严格的数据布局要求以及缺乏有效操纵低精度整数的支持，因此从稀疏的低精度矩阵操作中获得实践加速非常具有挑战性。我们提出了Magicube，这是一个高性能的稀疏矩阵库，用于张量芯上的低精度整数。 Magicube支持SPMM和SDDMM，这是深度学习的两个主要稀疏操作。 NVIDIA A100 GPU的实验结果表明，Magicube平均在供应商优化的库中平均达到1.44倍（高达2.37倍）的速度，用于稀疏内核，而在最先进的艺术品上进行了1.43倍的速度，具有可比的准确性。端到端稀疏变压器推断。

许多微体系式优化为深度神经网络解锁了巨大的处理能力，从而促进了AI革命。随着这种优化的精疲力尽，现代AI的增长现在是通过培训系统的性能，尤其是其数据流动的。我们没有专注于单个加速器，而是研究了全系统规模的大规模培训的数据移动特征。基于我们的工作量分析，我们设计了HammingMesh，这是一种新颖的网络拓扑，以低成本提供高的带宽，并具有很高的工作计划灵活性。具体而言，HammingMesh可以支持具有两个并行性的两个维度的深度学习培训工作的完整带宽和隔离。此外，它还为通用流量的高全球带宽提供支持。因此，HammingMesh将为未来的大规模深度学习系统供电，并具有极端的带宽要求。

后处理整体预测系统可以改善天气预报，尤其是对于极端事件预测。近年来，已经开发出不同的机器学习模型来提高后处理步骤的质量。但是，这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集，由十个合奏成员组成，分布在20年中（1998-2017）。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态，ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务，这实质上是通过消除合奏成员的偏见来改善预测质量。为此，ENS-10为预测交货时间t = 0、24和48小时（每周两个数据点）提供了天气变量。我们在ENS-10上为此任务提供了一组基线，并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际（CC By 4.0）许可下获得。

深度学习的快速进步正在导致一系列快速变化的模型，对计算的需求急剧增长。但是，随着框架将性能优化专门针对流行网络的模式，它们隐含地限制了推动研究进展的新颖和多样化的模型。我们通过定义灵活和用户可定制的管道来优化基于数据运动最小化的任意深神经网络的培训来赋予深度学习研究人员的能力。管道始于Pytorch或ONNX中的标准网络，并通过逐步降低转换计算。我们定义了四个级别的通用转换级别，从局部操作员优化到全球数据运动减少。这些在以数据为中心的图形中间表示上运行，该表示在各个级别的抽象级别表达计算和数据移动，包括扩展基本运算符，例如其基础计算的卷积。设计的核心是管道的互动性和内省性质。每个部分都可以通过Python API扩展，并且可以使用GUI进行交互调整。我们在十个不同的网络上展示了竞争性能或加速性，交互式优化发现了高效网络中的新机会。

培训尺寸培训大型深度学习模型非常具有挑战性。本文提出了一种新型管道并行方案，该方案结合了双向管道，以有效地训练大规模模型。嵌合体是一种同步方法，因此不会损失精度，比异步方法更加融合。与最新的同步管道方法相比，嵌合体将气泡的数量降低至50％;受益于双向管道的复杂调度，嵌合体具有更平衡的激活记忆消耗。评估是在基于变压器的语言模型上进行的。对于在PIZ Daint超级计算机的2,048个GPU节点上运行的GPT-2模型，Chimera通过最先进的同步和异步管道方法将培训吞吐量提高了1.16x-2.34x。

变形金刚是今天最重要的机器学习工作负载之一。培训是一个非常计算密集的任务，通常需要几天或几周，并且对优化变压器进行了重大关注。尽管如此，现有的实现不会有效地利用GPU。我们发现数据移动是培训时的关键瓶颈。由于Amdahl的法律和大规模改进的计算性能，培训现已成为记忆束缚。此外，现有框架使用次优数据布局。使用这些洞察力，我们提供了一个用于全局优化变压器数据移动的配方。我们将数据移动降低到22.91％，总体上实现了在训练伯特编码器层和1.19x的整个伯特的最先进框架上的1.30倍的性能改进。我们的方法更广泛地适用于优化深神经网络，并深入了解如何解决新兴的性能瓶颈。

Distributed training of massive machine learning models, in particular deep neural networks, via Stochastic Gradient Descent (SGD) is becoming commonplace. Several families of communication-reduction methods, such as quantization, largebatch methods, and gradient sparsification, have been proposed. To date, gradient sparsification methods-where each node sorts gradients by magnitude, and only communicates a subset of the components, accumulating the rest locally-are known to yield some of the largest practical gains. Such methods can reduce the amount of communication per step by up to three orders of magnitude, while preserving model accuracy. Yet, this family of methods currently has no theoretical justification. This is the question we address in this paper. We prove that, under analytic assumptions, sparsifying gradients by magnitude with local error correction provides convergence guarantees, for both convex and non-convex smooth objectives, for data-parallel SGD. The main insight is that sparsification methods implicitly maintain bounds on the maximum impact of stale updates, thanks to selection by magnitude. Our analysis and empirical validation also reveal that these methods do require analytical conditions to converge well, justifying existing heuristics.

In this paper a global reactive motion planning framework for robotic manipulators in complex dynamic environments is presented. In particular, the circular field predictions (CFP) planner from Becker et al. (2021) is extended to ensure obstacle avoidance of the whole structure of a robotic manipulator. Towards this end, a motion planning framework is developed that leverages global information about promising avoidance directions from arbitrary configuration space motion planners, resulting in improved global trajectories while reactively avoiding dynamic obstacles and decreasing the required computational power. The resulting motion planning framework is tested in multiple simulations with complex and dynamic obstacles and demonstrates great potential compared to existing motion planning approaches.